DeepSeekオープンソースウィーク初日に最新の技術成果FlashMLAを正式にオープンソース化しました。これはNVIDIA Hopperアーキテクチャ向けに特別に設計された高効率のマルチレイヤーアテンション（Multi-Layer Attention）デコードカーネルです。この技術は特に可変長シーケンスシナリオに最適化されており、大規模モデルの推論性能を大幅に向上させることができます。FlashMLAの核心技術特性にはBF16精度の全面サポートと、ブロックサイズ64のページングキー・バリューキャッシュ（Paged KV）が含まれています。

先日、マスク氏はライブ配信で新型チャットボットGrok 3を発表し、そのモデルのトレーニングにかかった驚愕のコストを明らかにしました。Grok 3は現在、Premium + サブスクリプションユーザー向けに公開されており、複数の評価分野で優れたパフォーマンスを示し、Gemini、DeepSeek、ChatGPTなどの競合他社製品を上回っています。マスク氏によれば、Grok 3のトレーニングにはNVIDIA GPU 20万枚分もの膨大な計算資源が消費されたとのこと。この数字は衝撃的です。これ以前は…

オラクルは、世界初のゼッタスケールクラウドコンピューティングクラスターを発表しました。このクラスターは最大131,072個のNVIDIA Blackwell GPUを搭載し、最大2.4ゼッタFLOPSのピーク性能を提供します。この強力なAIインフラストラクチャにより、企業はより高い柔軟性と主権性を備えて、大規模なAIワークロードを処理できます。オラクルクラウドインフラストラクチャ（OCI）とNVIDIAの高度なGPUアーキテクチャの組み合わせです。

Google CloudとY Combinatorが提携し、AIスタートアップに35万ドル相当のクラウドコンピューティングリソースと専用のGPU/TPUクラスタを2年間提供します。この取り組みはAIイノベーションを促進することを目的としており、優先的なコンピューティングリソースへのアクセスとAI専門家による個別指導を通じて、スタートアップが技術的な課題を解決し、成長を促進することを支援します。両社の提携は将来のテクノロジーリーダー育成を目指しており、Googleは早期支援を通じて長期的な関係構築を目指しています。この提携はスタートアップのコンピューティングリソースの問題解決に繋がるだけでなく、…

ソフトバンク創業者の孫正義氏は、AIとチップ分野に重点を置いた、世界規模で100億ドルの投資を計画している。The Informationの報道によると、ソフトバンクは現在銀行と協議中で、AIエネルギー関連プロジェクトに100億ドルを投資し、大量のNVIDIA GPUを確保する計画だという。孫正義氏はソフトバンクを世界のAI競争におけるリーダーとして位置づけ、重要なインフラ整備を目指している。

メタ社（Meta）は、データセンターにおいて、Artemisとコードネームが付けられたカスタム設計の第2世代AIチップを年内に展開する計画です。この新しいチップは、AIモデルの推論実行に使用され、Nvidia社のチップへの依存度を減らし、AIワークロードのコスト管理を強化することを目指しています。Meta CEOマーク・ザッカーバーグ氏は、AIシステムの運用とトレーニングに34万個のNvidia H100 GPUを含む、合計約60万個のGPUを使用する計画を発表しました。Metaは、自社開発のAIチップを導入することで、Nvidiaへの依存度を低減したいと考えています。

この記事では、GPT-5 のトレーニングに必要な H100 の数と、世界全体の H100 の需要について説明し、NVIDIA GPU のサプライチェーンの不足の原因を解説しています。GPU の供給不足の問題に関心のある読者にとって必読です。